在 Ubuntu 22.04 上使用 RTX 2070 Super 通过 Ollama 运行 Qwen3.5-9B(GPU 加速)
适用于 Ubuntu 22.04 系统,NVIDIA GeForce RTX 2070 Super 显卡,最终目标是在 Ollama 中运行 Qwen3.5-9B 模型并获得流畅的 GPU 加速效果。
前提条件
- 已连接互联网
- 拥有管理员权限(sudo)
- 系统已安装基本开发工具(可选,但推荐)
1. 确认显卡及当前驱动状态
打开终端,运行:
lspci | grep -i nvidia
应该能看到类似输出:
01:00.0 VGA compatible controller: NVIDIA Corporation TU104 [GeForce RTX 2070 SUPER] (rev a1)
这表明显卡已被系统识别。
接着检查是否已安装 NVIDIA 驱动:
nvidia-smi
- 如果显示驱动程序版本、CUDA 版本和显卡信息,说明驱动已安装,可以跳过第2步,直接进入第3步。
- 如果提示
command not found,说明驱动未安装,请继续执行第2步。
2. 安装 NVIDIA 驱动
2.1 更新系统并安装依赖
sudo apt update
sudo apt upgrade -y
sudo apt install -y build-essential dkms
2.2 添加 NVIDIA 驱动 PPA(可选,但推荐)
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
2.3 安装驱动(推荐使用 535 版本)
sudo apt install -y nvidia-driver-535
你也可以使用其他版本(如 550、570),但 535 是长期支持版,稳定性较高。
2.4 重启系统
sudo reboot
2.5 验证驱动安装
重启后再次运行:
nvidia-smi
如果出现显卡信息、驱动版本等,说明驱动安装成功。
3. 安装 Ollama
3.1 使用官方脚本安装(推荐)
curl -fsSL https://ollama.com/install.sh | sh
安装过程会自动配置 systemd 服务并启动 Ollama。
3.2 配置变量
# 1. 创建 drop-in 目录
sudo mkdir -p /etc/systemd/system/ollama.service.d
# 2. 写入配置(同时设置两个环境变量)
sudo tee /etc/systemd/system/ollama.service.d/override.conf <<EOF
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_HOST=0.0.0.0:11434"
EOF
# 3. 重新加载 systemd 并重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
3.3 检查 Ollama 服务状态
sudo systemctl status ollama
应显示 active (running)。如果没有运行,执行:
sudo systemctl start ollama
sudo systemctl enable ollama # 开机自启
3.4 检查 GPU 是否被 Ollama 识别
journalctl -u ollama --no-pager | grep -i gpu
4. 下载并运行模型
4.1 下载 Qwen3.5-9B 模型(约 6.6 GB)
ollama pull qwen3.5:9b
下载完成后,模型会自动保存。
4.2 测试模型并查看性能
ollama run qwen3.5:9b --verbose
在对话界面输入:
你好,请介绍一下你自己
等待回答结束后,终端会显示统计信息,重点关注 eval rate。
- 如果
eval rate≥ 20 tokens/s,表示 GPU 正常工作,速度理想。 - 如果
eval rate< 10 tokens/s,说明可能未使用 GPU,请继续执行第5步。
total duration: 32.398716053s
load duration: 196.279668ms
prompt eval count: 15 token(s)
prompt eval duration: 106.06147ms
prompt eval rate: 141.43 tokens/s
eval count: 648 token(s)
eval duration: 31.767038583s
eval rate: 20.40 tokens/s
4.3 实时监控 GPU 占用
另开一个终端,运行:
watch -n 1 nvidia-smi
在模型生成答案时,观察 GPU-Util 列是否从 0% 飙升到 80% 以上。如果是,说明 GPU 工作正常。
5. 验证最终结果
完成以上步骤后,应满足以下所有条件:
nvidia-smi能正常显示显卡信息,驱动版本为 535 或更高。sudo systemctl status ollama显示服务运行中。ollama list能看到已下载的qwen3.5:9b模型。- 运行
ollama run qwen3.5:9b --verbose时,eval rate≥ 20 tokens/s。 - 在生成答案时,
nvidia-smi中的 GPU-Util 列有明显增长(≥ 80%)。
如果全部通过,恭喜!你现在可以在本地流畅运行 Qwen3.5-9B,并利用其工具调用能力开发机器人 Agent 应用。
6. Dashboard
docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=http://localhost:11434 \
-v open-webui:/app/backend/data \
--name open-webui --restart always \
ghcr.io/open-webui/open-webui:main
- 访问
http://<服务器IP>:3000,注册第一个账号(自动成为管理员)。 - 在设置中确认模型列表已显示服务器上的模型。
优点:支持对话历史、多模型切换、RAG 文档上传、多用户等,界面类似 ChatGPT。
7. 远程调用方法(API)
无论是否使用 Dashboard,你的 Agent 程序都可以直接通过 HTTP API 调用远程服务器上的模型。
但是可能因为思考过程的长短,而造成输出比较慢(即使是流式)
非流式调用(一次性返回完整响应)
curl http://10.10.151.201:11434/api/chat -d '{
"model": "qwen3.5:9b",
"messages": [
{"role": "system", "content": "You are a helpful assistant. Respond directly without any internal reasoning. Just give the final answer."},
{"role": "user", "content": "hi"}
],
"stream": false,
"options": {
"temperature": 0.2
}
}'
返回结果:一个完整的 JSON 对象,包含模型生成的回复内容。
流式调用(实时逐块输出)
curl http://10.10.151.201:11434/api/chat -d '{
"model": "qwen3.5:9b",
"messages": [
{"role": "system", "content": "You are a helpful assistant. Respond directly without any internal reasoning. Just give the final answer."},
{"role": "user", "content": "hi"}
],
"stream": true,
"options": {
"temperature": 0.2
}
}'
返回结果:每行一个 JSON 对象,逐步输出模型生成的内容。最后一行包含 "done":true。
附录:常用命令速查
| 操作 | 命令 |
|---|---|
| 查看显卡状态 | nvidia-smi |
| 实时监控 GPU | watch -n 1 nvidia-smi |
| 启动 Ollama 服务 | sudo systemctl start ollama |
| 停止 Ollama 服务 | sudo systemctl stop ollama |
| 查看 Ollama 日志 | journalctl -u ollama -f |
| 列出本地模型 | ollama list |
| 删除模型 | ollama rm <模型名> |
| 进入模型对话 | ollama run <模型名> |
| 查看正在运行(加载到内存)的模型 | ollama ps |
| 停止正在运行(加载到内存)的模型 | ollama stop <模型名> |
如果需要密钥访问,可以参考LiteLLM 网关